CUDA IPC

• 多节点 Slurm 集群中，如何用 Ansible 优雅地批量维护与巡检 GPU MPS 状态？

  在大型 GPU 算力集群中，为了提升中小显存占用任务的吞吐量， NVIDIA MPS（Multi-Process Service，多进程服务） 是一个几乎必选的方案。配合 Slurm 的 gres/mps 机制，多任务可以物理共享单...

  19 2026/6/14 SlurmAnsibleNVIDIA MPS

• 深度解析：NVIDIA MIG 与 MPS 在算力切分上的底层隔离机制有何本质不同？

  在 GPU 算力虚拟化和多租户共享的场景中，NVIDIA 提供了两种主流的切分技术： MPS（Multi-Process Service，多进程服务） 和 MIG（Multi-Instance GPU，多实例 GPU） 。 虽然这...

  9 2026/6/14 NVIDIAGPU虚拟化MIGMPS

• Triton 复杂推理流水线：Ensemble 与 BLS 的时延损耗深剖与选型指南

  在将深度学习模型推向生产环境时，极少有单体模型能包揽全部业务逻辑。一个典型的工业级推理服务往往由多个模块级联而成：例如“ 目标检测（YOLO） -> 抠图与对齐（预处理） -> 特征提取（ResNet） -> 向量检索与...

  8 2026/6/14 Triton模型推理性能优化

• 拒绝万恶的H2D拷贝：在Triton中用CUDA共享内存实现大图推理极速优化

  在智能视觉、工业缺陷检测、超分辨率等场景中，我们经常需要处理 4K 甚至 8K 的超大尺寸图像。在传统的推理流程中，即使你把 GPU 上的模型优化到了极致，端到端的时延依然可能高达几十甚至上百毫秒。 用 Profiler 仔细分析就会...

  11 2026/6/14 TritonCUDA性能优化

• 高并发下的多卡 Triton 推理优化：如何利用 CUDA IPC 与 NCCL 实现跨卡零拷贝级联？

  在多卡（Multi-GPU）环境下部署复杂的大模型流水线或级联模型（Ensemble/Pipeline）时，GPU 之间的数据传输延迟往往会成为整个吞吐链路的致命瓶颈。 典型的级联场景（例如： Visual Grounding 任务中...

  1 2026/6/15 TritonCUDA IPCNCCL